<html lang="en-US">

<head>
    
<title>「连载十」分布式链路追踪 gRPC &#43; Opentracing &#43; Zipkin - 花落雨忧</title>

<meta property="og:title" content="「连载十」分布式链路追踪 gRPC &#43; Opentracing &#43; Zipkin - 花落雨忧">



    



    
    <meta property="description" content="在实际应用中，你做了那么多 Server 端，写了 N 个 RPC 方法。想看看方法的指标，却无处下手？
本文将通过 gRPC &#43; Opentracing &#43; Zipkin 搭建一个分布式链路追踪系统来实现查看整个系统的链路、性能等指标。
[&amp;hellip;] OpenTracing 通过提供平台无关、厂商无关的API，使得开发人员能够方便的添加（或更换） &amp;hellip;">
    <meta property="og:description" content="在实际应用中，你做了那么多 Server 端，写了 N 个 RPC 方法。想看看方法的指标，却无处下手？
本文将通过 gRPC &#43; Opentracing &#43; Zipkin 搭建一个分布式链路追踪系统来实现查看整个系统的链路、性能等指标。
[&amp;hellip;] OpenTracing 通过提供平台无关、厂商无关的API，使得开发人员能够方便的添加（或更换） &amp;hellip;">
    






<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<meta name="viewport" content="width=device-width,initial-scale=1">

<link rel="shortcut icon" href="https://www.lican.asia/logo/logo.png" type="image/x-icon" />



<link rel="stylesheet" href="/css/style.min.css" />

<link rel="stylesheet" href="/css/reset.min.css" />




<script src="https://www.lican.asia/js/highlight.min.js"></script>

<script>
hljs.configure({ ignoreUnescapedHTML: true })
hljs.highlightAll();
</script>


<script src="https://www.lican.asia/js/jquery.min.js"></script>




<link href="https://www.lican.asia/css/hugo-code.min.css" rel="stylesheet" />



    <style>
        .post-content img {
            max-width: 400px;
        }
    </style>
</head>

<body id="period" class="home blog">
    <a class="skip-content" href="#main">Press "Enter" to skip to content</a>
    <div id="overflow-container" class="overflow-container">
        <header class="site-header" id="site-header" role="banner">
    <div class="max-width">
        <div id="title-container" class="title-container">
            <div id="site-title" class="site-title"><a href="/">花落雨忧</a></div>
            <p class="tagline">思所及 力所行 方为真.</p>
        </div>
        
        <div id="menu-primary-container" class="menu-primary-container">
            <div class="icon-container">
            </div>
            <div id="menu-primary" class="menu-container menu-primary" role="navigation">
                <nav class="menu">
                    <ul id="menu-primary-items" class="menu-primary-items">
                        
                        
                        <li id="menu-item-0"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/posts" aria-current="page" tabindex="0">首页</a></li>
                        
                        <li id="menu-item-1"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/tech/" aria-current="page" tabindex="1">技术文档</a></li>
                        
                        <li id="menu-item-2"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/article/" aria-current="page" tabindex="2">文章</a></li>
                        
                        <li id="menu-item-3"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/project/" aria-current="page" tabindex="3">项目</a></li>
                        
                        <li id="menu-item-4"
                            class="menu-item menu-item-type-custom menu-item-object-custom ">
                            <a href="/about/" aria-current="page" tabindex="4">关于</a></li>
                        
                    </ul>
                </nav>
            </div>
        </div>
    </div>
</header>

        <div id="primary-container" class="primary-container">
            <div class="max-width">
                <section id="main" class="main" role="main">
                    <div id="loop-container" class="loop-container">
                        <div
                            class="post type-post status-publish format-standard hentry entry">
                            <article>
                                <div class="post-container">
                                    <div class="post-header">
                                        <h2 class="post-title">
                                            <a href="/posts/posts/go/grpc/2018-10-20-zipkin/">「连载十」分布式链路追踪 gRPC &#43; Opentracing &#43; Zipkin</a>
                                        </h2>
                                        
                                        <div class="post-byline">Published on
                                            <a class="date" href="javascript:;">2018/10/20</a>
                                            
                                            
                                            
                                            By 
                                            <a class="author" href="javascript:;">煎鱼</a></div>
                                            
                                        
                                    </div>
                                    <div class="post-content">
                                        <p>在实际应用中，你做了那么多 Server 端，写了 N 个 RPC 方法。想看看方法的指标，却无处下手？</p>
<p>本文将通过 gRPC + Opentracing + Zipkin 搭建一个<strong>分布式链路追踪系统</strong>来实现查看整个系统的链路、性能等指标。</p>
<h2 id="opentracing">Opentracing</h2>
<h3 id="是什么">是什么</h3>
<p>OpenTracing 通过提供平台无关、厂商无关的API，使得开发人员能够方便的添加（或更换）追踪系统的实现</p>
<p>不过 OpenTracing 并不是标准。因为 CNCF 不是官方标准机构，但是它的目标是致力为分布式追踪创建更标准的 API 和工具</p>
<h3 id="名词解释">名词解释</h3>
<h4 id="trace">Trace</h4>
<p>一个 trace 代表了一个事务或者流程在（分布式）系统中的执行过程</p>
<h4 id="span">Span</h4>
<p>一个 span 代表在分布式系统中完成的单个工作单元。也包含其他 span 的 “引用”，这允许将多个 spans 组合成一个完整的 Trace</p>
<p>每个 span 根据 OpenTracing 规范封装以下内容：</p>
<ul>
<li>操作名称</li>
<li>开始时间和结束时间</li>
<li>key:value span Tags</li>
<li>key:value span Logs</li>
<li>SpanContext</li>
</ul>
<h4 id="tags">Tags</h4>
<p>Span tags（跨度标签）可以理解为用户自定义的 Span 注释。便于查询、过滤和理解跟踪数据</p>
<h4 id="logs">Logs</h4>
<p>Span logs（跨度日志）可以记录 Span 内特定时间或事件的日志信息。主要用于捕获特定 Span 的日志信息以及应用程序本身的其他调试或信息输出</p>
<h4 id="spancontext">SpanContext</h4>
<p>SpanContext 代表跨越进程边界，传递到子级 Span 的状态。常在追踪示意图中创建上下文时使用</p>
<h4 id="baggage-items">Baggage Items</h4>
<p>Baggage Items 可以理解为 trace 全局运行中额外传输的数据集合</p>
<h3 id="一个案例">一个案例</h3>
<p><img src="https://image.eddycjy.com/c7912244434f56f32be37ac66ad164ab.png" alt="image"></p>
<p>图中可以看到以下内容：</p>
<ul>
<li>执行时间的上下文</li>
<li>服务间的层次关系</li>
<li>服务间串行或并行调用链</li>
</ul>
<p>结合以上信息，在实际场景中我们可以通过整个系统的调用链的上下文、性能等指标信息，一下子就能够发现系统的痛点在哪儿</p>
<h2 id="zipkin">Zipkin</h2>
<p><img src="https://image.eddycjy.com/f82f883ce74801abfece12c775f45c6c.png" alt="image"></p>
<h3 id="是什么-1">是什么</h3>
<p>Zipkin 是分布式追踪系统。它的作用是收集解决微服务架构中的延迟问题所需的时序数据。它管理这些数据的收集和查找</p>
<p>Zipkin 的设计基于 <a href="http://research.google.com/pubs/pub36356.html">Google Dapper</a> 论文。</p>
<h3 id="运行">运行</h3>
<pre tabindex="0"><code>docker run -d -p 9411:9411 openzipkin/zipkin
</code></pre><p>其他方法安装参见：https://github.com/openzipkin/zipkin</p>
<h3 id="验证">验证</h3>
<p>访问 http://127.0.0.1:9411/zipkin/ 检查 Zipkin 是否运行正常</p>
<p><img src="https://image.eddycjy.com/f22ea6012f6ce4adea9f29d36f1017c7.jpg" alt="image"></p>
<h2 id="grpc--opentracing--zipkin">gRPC + Opentracing + Zipkin</h2>
<p>在前面的小节中，我们做了以下准备工作：</p>
<ul>
<li>了解 Opentracing 是什么</li>
<li>搭建 Zipkin 提供分布式追踪系统的功能</li>
</ul>
<p>接下来实现 gRPC 通过 Opentracing 标准 API 对接 Zipkin，再通过 Zipkin 去查看数据</p>
<h3 id="目录结构">目录结构</h3>
<p>新建 simple_zipkin_client、simple_zipkin_server 目录，目录结构如下：</p>
<pre tabindex="0"><code>go-grpc-example
├── LICENSE
├── README.md
├── client
│   ├── ...
│   ├── simple_zipkin_client
├── conf
├── pkg
├── proto
├── server
│   ├── ...
│   ├── simple_zipkin_server
└── vendor
</code></pre><h3 id="安装">安装</h3>
<pre tabindex="0"><code>$ go get -u github.com/openzipkin/zipkin-go-opentracing
$ go get -u github.com/grpc-ecosystem/grpc-opentracing/go/otgrpc
</code></pre><h3 id="grpc">gRPC</h3>
<h4 id="server">Server</h4>
<pre tabindex="0"><code>package main

import (
	&#34;context&#34;
	&#34;log&#34;
	&#34;net&#34;

	&#34;github.com/grpc-ecosystem/go-grpc-middleware&#34;
	&#34;github.com/grpc-ecosystem/grpc-opentracing/go/otgrpc&#34;
	zipkin &#34;github.com/openzipkin/zipkin-go-opentracing&#34;
	&#34;google.golang.org/grpc&#34;

	&#34;github.com/EDDYCJY/go-grpc-example/pkg/gtls&#34;
	pb &#34;github.com/EDDYCJY/go-grpc-example/proto&#34;
)

type SearchService struct{}

func (s *SearchService) Search(ctx context.Context, r *pb.SearchRequest) (*pb.SearchResponse, error) {
	return &amp;pb.SearchResponse{Response: r.GetRequest() + &#34; Server&#34;}, nil
}

const (
	PORT = &#34;9005&#34;

	SERVICE_NAME              = &#34;simple_zipkin_server&#34;
	ZIPKIN_HTTP_ENDPOINT      = &#34;http://127.0.0.1:9411/api/v1/spans&#34;
	ZIPKIN_RECORDER_HOST_PORT = &#34;127.0.0.1:9000&#34;
)

func main() {
	collector, err := zipkin.NewHTTPCollector(ZIPKIN_HTTP_ENDPOINT)
	if err != nil {
		log.Fatalf(&#34;zipkin.NewHTTPCollector err: %v&#34;, err)
	}

	recorder := zipkin.NewRecorder(collector, true, ZIPKIN_RECORDER_HOST_PORT, SERVICE_NAME)

	tracer, err := zipkin.NewTracer(
		recorder, zipkin.ClientServerSameSpan(false),
	)
	if err != nil {
		log.Fatalf(&#34;zipkin.NewTracer err: %v&#34;, err)
	}

	tlsServer := gtls.Server{
		CaFile:   &#34;../../conf/ca.pem&#34;,
		CertFile: &#34;../../conf/server/server.pem&#34;,
		KeyFile:  &#34;../../conf/server/server.key&#34;,
	}
	c, err := tlsServer.GetCredentialsByCA()
	if err != nil {
		log.Fatalf(&#34;GetTLSCredentialsByCA err: %v&#34;, err)
	}

	opts := []grpc.ServerOption{
		grpc.Creds(c),
		grpc_middleware.WithUnaryServerChain(
			otgrpc.OpenTracingServerInterceptor(tracer, otgrpc.LogPayloads()),
		),
	}
    ...
}
</code></pre><ul>
<li>zipkin.NewHTTPCollector：创建一个 Zipkin HTTP 后端收集器</li>
<li>zipkin.NewRecorder：创建一个基于 Zipkin 收集器的记录器</li>
<li>zipkin.NewTracer：创建一个 OpenTracing 跟踪器（兼容 Zipkin Tracer）</li>
<li>otgrpc.OpenTracingClientInterceptor：返回 grpc.UnaryServerInterceptor，不同点在于该拦截器会在 gRPC Metadata 中查找 OpenTracing SpanContext。如果找到则为该服务的 Span Context 的子节点</li>
<li>otgrpc.LogPayloads：设置并返回 Option。作用是让 OpenTracing 在双向方向上记录应用程序的有效载荷（payload）</li>
</ul>
<p>总的来讲，就是初始化 Zipkin，其又包含收集器、记录器、跟踪器。再利用拦截器在 Server 端实现 SpanContext、Payload 的双向读取和管理</p>
<h4 id="client">Client</h4>
<pre tabindex="0"><code>func main() {
	// the same as zipkin server
	// ...
	conn, err := grpc.Dial(&#34;:&#34;+PORT, grpc.WithTransportCredentials(c),
		grpc.WithUnaryInterceptor(
			otgrpc.OpenTracingClientInterceptor(tracer, otgrpc.LogPayloads()),
		))
	...
}
</code></pre><ul>
<li>otgrpc.OpenTracingClientInterceptor：返回 grpc.UnaryClientInterceptor。该拦截器的核心功能在于：</li>
</ul>
<p>（1）OpenTracing SpanContext 注入 gRPC Metadata</p>
<p>（2）查看 context.Context 中的上下文关系，若存在父级 Span 则创建一个 ChildOf 引用，得到一个子 Span</p>
<p>其他方面，与 Server 端是一致的，先初始化 Zipkin，再增加 Client 端特需的拦截器。就可以完成基础工作啦</p>
<h3 id="验证-1">验证</h3>
<p>启动 Server.go，执行 Client.go。查看 http://127.0.0.1:9411/zipkin/ 的示意图：</p>
<p><img src="https://image.eddycjy.com/35c586cc15b28496d5c227e03cde7e67.jpg" alt="image"></p>
<p><img src="https://image.eddycjy.com/8c17c36d87764237e75b4d7c4739fdf4.jpg" alt="image"></p>
<h2 id="复杂点">复杂点</h2>
<p><img src="https://image.eddycjy.com/d33c339e872ceab76c906e2da1a450c3.jpg" alt="image"></p>
<p><img src="https://image.eddycjy.com/dc3fc3ec49276d3b56c0c2d22e6a5ad4.jpg" alt="image"></p>
<p>来，自己实践一下</p>
<h2 id="总结">总结</h2>
<p>在多服务下的架构下，串行、并行、服务套服务是一个非常常见的情况，用常规的方案往往很难发现问题在哪里（成本太大）。而这种情况就是<strong>分布式追踪系统</strong>大展拳脚的机会了</p>
<p>希望你通过本章节的介绍和学习，能够了解其概念和搭建且应用一个追踪系统。</p>
<h2 id="参考">参考</h2>
<h3 id="本系列示例代码">本系列示例代码</h3>
<ul>
<li><a href="https://github.com/EDDYCJY/go-grpc-example">go-grpc-example</a></li>
</ul>
<h3 id="资料">资料</h3>
<ul>
<li><a href="https://opentracing.io/">opentracing</a></li>
<li><a href="https://zipkin.io">zipkin</a></li>
</ul>


                                        
                                        
                                        
                                        <div class="rp4wp-related-posts">
                                            <h3>相关文章</h3>
                                            <ul>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/grpc/2018-10-16-deadlines/">「连载九」gRPC Deadlines</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/grpc/2018-10-14-per-rpc-credentials/">「连载八」对 RPC 方法做自定义认证</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/grpc/2018-10-12-grpc-http/">「连载七」让你的服务同时提供 HTTP 接口</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/grpc/2018-10-10-interceptor/">「连载六」Unary and Stream interceptor</a>
                                                    </div>
                                                </li>
                                                
                                                <li>
                                                    <div class="rp4wp-related-post-content">
                                                        <a
                                                            href="https://www.lican.asia/posts/posts/go/grpc/2018-10-08-ca-tls/">「连载五」基于 CA 的 TLS 证书认证</a>
                                                    </div>
                                                </li>
                                                
                                            </ul>
                                        </div>
                                        
                                        
                                    </div>

                                    
                                    
                                    

                                    
                                    <div class="post-meta">
                                        
                                        
                                        <div class="post-tags">
                                            <ul>
                                            
                                            <li>
                                                <a href="/tags/go" title="View all posts tagged match">go</a>
                                            </li>
                                            
                                            <li>
                                                <a href="/tags/grpc" title="View all posts tagged match">grpc</a>
                                            </li>
                                            
                                            </ul>
                                        </div>
                                        
                                        
                                        <nav class="further-reading">
                                            
                                            <div class="previous">
                                                <span>&lt;&lt; Prev</span>
                                                <a href="https://www.lican.asia/posts/posts/go/grpc/2018-10-16-deadlines/"
                                                    rel="prev">「连载九」gRPC Deadlines</a> </div>
                                            
                                            
                                            <div class="next">
                                                <span>Next >></span>
                                                <a href="https://www.lican.asia/posts/posts/go/talk/2018-11-25-gomock/">使用 Gomock 进行单元测试</a> 
                                            </div>
                                            
                                        </nav>
                                    </div>
                                    
                                    

                                    
                                    
                                    

                                </div>
                            </article>
                        </div>
                    </div>
                </section>
                <aside class="sidebar sidebar-primary" id="sidebar-primary" role="complementary">
    <h1 class="screen-reader-text">Sidebar</h1>
    

    
    
    <section id="text-2" class="widget widget_text">
        <div class="textwidget">
            
            <div id="profile">
                <div id="profile_picture"><img src="https://www.lican.asia/logo/logo.png"></div>
                <div id="profile_intro">
                    <p><span class="name">Lican</span></p>
                    <p class="intro">全栈开发者，爱好造轮子。</p>
                </div>
            </div>
            
            <p>
                <script type="text/javascript">
                    (function ($) {
                        $(document).ready(function () {
                            var menuPrimaryContainer = $('#menu-primary-container');
                            var profile = $('#text-2');
                            $('#toggle-navigation').click(function () {
                                if (menuPrimaryContainer.hasClass('open')) {
                                    profile.removeClass('open');
                                } else {
                                    profile.addClass('open');
                                }
                            });
                        });
                    })(jQuery);
                </script>
            </p>
        </div>
    </section>
    
    
    
    
    
    <section id="text-5" class="widget widget_text">
        <h2 class="widget-title">开源项目</h2>
        <div class="textwidget">
            <div id="projects" style="line-height: 22px;">
                
                <a href="https://github.com/idoubi/gonews"
                    target="_blank">gonews</a>: &nbsp;Daily news for golang<br>
                
                <a href="https://github.com/idoubi/sql2struct"
                    target="_blank">sql2struct</a>: &nbsp;Generate go struct according to SQL<br>
                
                <a href="https://github.com/idoubi/goz"
                    target="_blank">goz</a>: &nbsp;Request library used in golang<br>
                
        </div>
    </section>
    
    

    
    
    
    
    <section id="qrcode" class="widget widget_media_image">
        <h2 class="widget-title">微信公众号</h2>
        <img width="258" height="258"
            src="https://www.lican.asia/wechat/lican.png"
            class="image wp-image-5514  attachment-full size-full" alt=""
            style="max-width: 100%; height: auto;"
            sizes="(max-width: 258px) 100vw, 258px">
    </section>
    
    

    
    
    

    
    
    

    
    
    
    
</aside>
            </div>
        </div>

        <footer id="site-footer" class="site-footer" role="contentinfo">
    <div class="max-width">
    </div>
    <div class="footer">
        <div id="footercontent">
            © lican.asia All rights reserved<br/>
            Built with Hugo Theme <a href="https://github.com/idoubi/hugo-theme-period" target="_blank">Period</a>
        </div>
    </div>
</footer>

<script>
    var _hmt = _hmt || [];
    (function() {
      var hm = document.createElement("script");
      hm.src = "https://hm.baidu.com/hm.js?e8351b6d4626d5881d439ea1f6184baa";
      var s = document.getElementsByTagName("script")[0]; 
      s.parentNode.insertBefore(hm, s);
    })();
</script>
    
    
    </div>
    
</body>

</html>